A Meta AI recentemente lançou em código aberto o modelo de linguagem multimodal básico chamado SPIRIT LM, que pode misturar livremente texto e fala, abrindo novas possibilidades para tarefas multimodais de áudio e texto. O SPIRIT LM é baseado em um modelo de linguagem de texto pré-treinado de 7 bilhões de parâmetros, expandido para a modalidade de fala por meio de treinamento contínuo em unidades de texto e fala. Ele pode entender e gerar texto como um grande modelo de linguagem de texto, mas também pode entender e gerar fala, e até mesmo misturar texto e fala para criar várias maravilhas.